Multi armed bandits and quantum channel oracles

Multi armed bandits are one of the theoretical pillars of reinforcement learning. Recently, the investigation of quantum algorithms for multi armed bandit problems was started, and it was found that a quadratic speed-up is possible when the arms and the randomness of the rewards of the arms can be queried in superposition. Here we introduce further bandit models where we only have limited access to the randomness of the rewards, but we can still query the arms in superposition. We show that this impedes any speed-up of quantum algorithms.Comment: 44 page

Learning Kernel Tests Without Data Splitting

Modern large-scale kernel-based tests such as maximum mean discrepancy (MMD) and kernelized Stein discrepancy (KSD) optimize kernel hyperparameters on a held-out sample via data splitting to obtain the most powerful test statistics. While data splitting results in a tractable null distribution, it suffers from a reduction in test power due to smaller test sample size. Inspired by the selective inference framework, we propose an approach that enables learning the hyperparameters and testing on the full sample without data splitting. Our approach can correctly calibrate the test in the presence of such dependency, and yield a test threshold in closed form. At the same significance level, our approach's test power is empirically larger than that of the data-splitting approach, regardless of its split proportion.Comment: 24 (10+14) pages, 9 figures. Under Review v2: added missing references and acknowledgment

Impaired Inhibitory Control in Recreational Cocaine Users

Chronic use of cocaine is associated with impairment in response inhibition but it is an open question whether and to which degree findings from chronic users generalize to the upcoming type of recreational users. This study compared the ability to inhibit and execute behavioral responses in adult recreational users and in a cocaine-free-matched sample controlled for age, race, gender distribution, level of intelligence, and alcohol consumption. Response inhibition and response execution were measured by a stop-signal paradigm. Results show that users and non users are comparable in terms of response execution but users need significantly more time to inhibit responses to stop-signals than non users. Interestingly, the magnitude of the inhibitory deficit was positively correlated with the individuals lifetime cocaine exposure suggesting that the magnitude of the impairment is proportional to the degree of cocaine consumed

Endoscopic 3 DoF-Instrument with 7 DoF Force/Torque Feedback

Minimally invasive surgery (as previously discussed) is an operation technique advantageous for patients. However, surgeons have to contend with a number of disadvantages. With the development and commissioning of a robot supported, prototypic minimally invasive robotic surgery (MIRS) instrument the intracorporal manipulability as well as surgeon's immersion will be enhanced. This paper will give an outline of the endoscopic instrument consisting of 3 DoF actuation unit, 2 DoF joint, 7 DoF Force/Torque sensor, and functional end

A New Approach to Establish Tactility in Minimally Invasive Robotic Surgery: Development, Design, and First Evaluation of a Haptic-Tactile Feedback System for Improved Localization of Arteries During Surgery such as Closed-Chest Revascularization

In der konventionellen robotergestützten, minimal invasiven Chirurgie (MIC) besteht eine vollständige mechanische Entkopplung zwischen Chirurg und Patient. Die Entwicklung kinästhetischer Rückkopplungssysteme ist fortgeschritten, die Rückkopplung taktiler Eindrücke ist jedoch nach wie vor problematisch. Es wurden viele Versuche unternommen, vollständige teletaktile Eindrücke zu vermitteln, die jedoch aus unterschiedlichen Gründen scheiterten. Als hauptsächlicher Grund hierfür ist anzusehen, dass die Ausgabeschnittstelle üblicherweise ein eigenständiges Gerät ist, was die gleichzeitige Wahrnehmung von Eindrücken und Steuerung des Instruments erschwert. Die menschliche Wahrnehmung taktiler Eindrücke beruht weitgehend auf dem Betasten des Objekts mit Bewegen des "Sensors", was mit zwei verschiedenen Geräten schwer nachzubilden ist. Außerdem war die Interpretation des rückgekoppelten Signals nicht eindeutig und intuitiv genug. Eine der größten Schwierigkeiten in der (robotergestützten) minimal invasiven Chirurgie ist die große, durch die fehlende taktile Rückkopplung begründete Gefahr einer unbeabsichtigten Arterienverletzung mit der Folge schwer kontrollierbarer Blutungen. In der offenen Chirurgie kann Gewebe betastet werden, und ein Pulsieren deutet auf eine im Gewebe liegende Arterie hin. Eine Substitution des Tastsinns wäre aber auch aus anderen Gründen wünschenswert. So können in der offenen Herzchirurgie die präoperativ geplanten Anastomosestellen durch Betasten aufgefunden werden. Stehen jedoch nur optische Untersuchungsmethoden zur Verfügung, kann ein sehr zeitaufwendiges Freipräparieren der Arterien notwendig werden, um die präoperativ geplanten Anastomosestellen aufzufinden. Die in dieser Arbeit vorgeschlagene Lösung bietet keine umfassende taktile Rückkopplung, sondern konzentriert sich auf das ultraschallgestützte, quasi taktile Lokalisieren besonderer Strukturen unter verdeckendem Gewebe. Mit den erfassten Daten erfolgt eine Modalitätssubstitution, dem Nutzer werden intuitive haptische bzw. Mehrkanalinformationen zurückgegeben. Um die Doppler-Frequenzverschiebung des in den betreffenden Arterien fließenden Blutes zu erkennen, wird ein Ultraschalltransducer verwendet, der in ein minimal invasives Instrument integriert ist. Die gemessenen Signale werden analysiert und an ein haptisches Eingabegerät weitergeleitet, mit dem die Erkennung und die Eigenschaften der verdeckten Gefäße intuitiv erfassbar dargestellt werden. Erste Versuche zeigten, dass ein leichtes Zucken des Eingabegerätes in Verbindung mit dem typischen Doppler-Geräusch das direkte Betasten sehr zuverlässig und intuitiv ersetzen. Weiterführende Untersuchungen, die die Verlässlichkeit bestätigen und zu einem tieferen Verständnis dieser Ergebnisse führen sollen, stehen noch aus. Es ist sehr fraglich, ob eine vollständige Rückkopplung aller möglichen taktilen Eindrücke in der robotergestützten MIC erstrebenswert ist – der medizinische Nutzen scheint die Anstrengungen und Kosten nicht zu rechtfertigen. Deshalb verspricht, wie in dieser Arbeit, der Ersatz nur von Teilen der Taktilität, der mit der menschlichen Wahrnehmung vergleichbar ist, eine bessere Lösung zu sein. Im Gegensatz zu in der Literatur beschriebenen Realisierungen, die sich im praktischen Einsatz nicht durchgesetzt haben, hat das hier beschriebene System erste Tests bestanden und seine überlegene Leistungsfähigkeit bewiesen. Ein Patent hierzu wurde bereits erteilt